F-test를 통한 등분산 검정 결과 4,5번 질문을 제외하고는 모두 등분산을 만족한다. 따라서 4번과 5번 질문에 대한 분석을 통해 원인을 분석해보았다.
분석 방법으로 질문에 대한 도수분포를 시각화 하여 분석했다. 명확한 차이점을 확인하기 위해 F-test의 p-value값이 가장 높았던 6번 질문과 비교해본 결과 4,5번 질문 모두 테스트 B 집단에서 7점의 비율이 테스트 A에 비해 크게 높아서 등분산이 만족하지 않는 결과가 나온 것으로 보인다.
전체 질문에 대한 도수 분포 보기 전체 질문 도수 분포
T-test를 통한 검정 결과 1번과 7번 질문을 제외하고는 모두 95% 신뢰구간에서 유의미한 차이가 있었고, 그 중 3번과 8번 질문은 99% 신뢰구간에서 유의미한 차이가 있는 것으로 나타났다. 1번 질문의 경우 85% 신뢰구간에서 유의미한 차이가 있는 것으로 나타났고, 7번 질문의 경우 90% 신뢰구간에서 유의미한 차이가 있는 것으로 나타났다. 등분산을 만족하지 않는 4,5번 질문에 대한 검정으로는 두 질문 모두 95% 신뢰구간에서 유의미한 차이가 있다고 나타났다.
이에 신뢰구간 95%를 만족하지 못한 1번과 7번 질문에 대한 분석을 통해 원인을 분석해보았다.
신뢰구간이 95% 이하인 항목들에 대한 분석 및 시각화 결과 모든 질문에 대해 테스트 B가 A에 비해 평균 점수가 약 1점 높은 것으로 나타났다.하지만 T-test에서 95% 신뢰구간을 만족하지 못한 1번과 7번 질문은 평균의 차이가 각각 0.4, 0.6으로 차이가 평균보다 낮았음을 않았음을 알 수 있다. 1번과 7번 질문을 제외하고 평균을 분석한 결과 B 테스트가 약 1.2점 높은것으로 나타났다. 이를 백분률로 환산하면, 전체 질문에 대해서는 테스트 B가 A에 비해 약 17%, 1번과 7번 질문을 포함하고는 약 14% 점수가 높다는 것을 알 수 있다.
1인 여행객의 만족도를 증진시키기 위해 추가적으로 한 질문인 “1인 여행자로서 장소 방문 결정을 위하여 추가로 필요한 정보가 있다면 어떤 정보인가요?”에 대한 답변 분석을 진행하였다.
분석 결과 테스트 A에서는 교통에 관한 니즈가 가장 많으며, 이어서 관광지 상세정보-Detail information(DI), 도시 상세정보-City information(CI)의 니즈가 많았음을 알 수 있다. 테스트 B에서는 리뷰에 관한 니즈가 가장 많으며, 이어서 관광지 상세정보-Detail information(DI), 관광지 추천의 니즈가 많았음을 알 수 있다.
두 테스트를 함께 시각화하여 분석한 결과 교통, 관광지 상세정보(DI), 음식에 대한 지표가 시각적으로 유의미한 차이가 있는 것으로 보인다. 이를 통해 디자인 B에서 개선 핵심지표인 여행 만족도와 필요정보 확인률에 대한 개선이 이루어졌다고 볼 수 있다. 또한 검색에 대한 니즈가 없었던 테스트 B를 보면 계획 수립 난이도 역시 개선이 이루어진 것으로 보인다. 다만, 두 테스트 모두에 리뷰에 관한 질문이나 화면이 없었음에도 불구하고 테스트 B의 리뷰 수치가 압도적으로 많은 것은, 교통에 대한 니즈가 해결되서인 것으로 보인다. 따라서 사용자들은 계획을 수립할 때 교통 -> 리뷰 -> 관광지 상세정보 의 순서로 중요도가 결정되는 것으로 보인다.